【重磅前沿】深度学习理论，斯坦福大学Fall 2017最新课程(STATS 385-附PPT下载，课程目录视频)

原创 2017-11-09 专知内容组 专知

【导读】斯坦福大学《深度学习理论》《Theories of Deep Learning》

课程邀请相关专家带你探究深度学习背后的理论基础，解开深度学习的黑盒，带你知其然知其所以然。专知内容组特别整理为大家展现，欢迎大家阅读，转发分享！文末查看课程PPT下载！

深度学习理论

深度学习的理论探讨比应用滞后了“好几个量级”。在2017未来科学大奖颁奖盛典，南京大学教授周志华在与深鉴科技联合创始人汪玉对话时表示，深度学习的理论探讨比应用滞后了“好几个量级”，在谈及人工智能近期的热潮时表示，这是源于机器学习在过去15年里取得了飞速进展，而机器学习的实质就是人类希望通过计算机来寻找出数据中所包含的规律；周志华认为，目前深度学习的优势在于能更好地发挥出数据的作用，而且目前深度模型多是基于神经网络，这就能更方便快捷地利用上新增加的能力，但同时深度学习模型的理论基础不是特别扎实，“很多时候它到底怎样能做得更好是在靠尝试，而不是有一个很清楚的理论告诉我们该怎么做、不该怎么做，这是它的弱点。”他认为，深度学习的理论探讨比应用滞后了“好几个量级”。

工程化的门槛越来越低，而理论的门槛越来越高。密歇根州立大学助理教授汤继良认为，深度学习工程化的门槛越来越低，而理论的门槛越来越高：深度学习正在两极化。大部分甚至越来越多的深度学习的人会偏向于工程化。包括建立更加全面便捷，快速可视化的深度学习平台，甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化：解决深度学习的理论瓶颈包括可解释性等。一个正在发生的趋势是：工程化的门槛越来越低，而理论的门槛越来越高。

斯坦福大学《深度学习理论》课程邀请相关专家待你探究深度学习背后的理论基础，解开深度学习的黑盒，带你知其然知其所以然。

【斯坦福课程：深度学习理论】《Theories of Deep Learning》

课程简介

如今深度学习在各个领域取得的一系列成功仅仅是依靠各种经验的堆叠。但是挖掘这些成功背后的理论支持也是很重要的。在这门概述课程将探究Burna and Mallat, Mhaskar and Poggio, Papyan and Elad, Bolsckei and co-authors, Baraniuk以及他们合作者的一些最新研究，并试图建立起深度学习的理论框架。除了开始的背景介绍的课程，我们还有一些嘉宾作者对他们关于深度学习理论研究的报告。网址链接：https://stats385.github.io/

主讲 David Donoho, Hatef Monajemi, Vardan Papyan

课程列表

Lecture01: Deep Learning Challenge. Is There Theory? (Donoho/Monajemi/Papyan)

深度学习的挑战：背后是否有理论的支撑？
视频链接: [https://v.qq.com/x/page/h05028esp6o.html]
PPT: [https://stats385.github.io/assets/lectures/StanfordStats385-20170927-Lecture01-Donoho.pdf]

https://v.qq.com/txp/iframe/player.html?vid=h05028esp6o&width=500&height=375&auto=0

Lecture02: Overview of Deep Learning From a Practical Point of View (Donoho/Monajemi/Papyan)

深度学习概况—从实践的角度
视频链接: [https://v.qq.com/x/page/q0502rw18u1.html]
PPT: [https://stats385.github.io/assets/lectures/Lecture-02-AsCorrected.pdf]

https://v.qq.com/txp/iframe/player.html?vid=q0502rw18u1&width=500&height=375&auto=0

Lecture03: Harmonic Analysis of Deep Convolutional Neural Networks (Helmut Bolcskei)

深度卷积网络的调和分析方法
视频链接: [https://v.qq.com/x/page/w0502gc5zrj.html]
PPT: [https://stats385.github.io/assets/lectures/bolcskei-stats385-slides.pdf]

https://v.qq.com/txp/iframe/player.html?vid=w0502gc5zrj&width=500&height=375&auto=0

Lecture04: Convnets from First Principles: Generative Models, Dynamic Programming & EM (Ankit Patel)

从基本原理出发学习卷积网络：生成模型，动态规划以及EM算法
网址链接: [https://v.qq.com/x/page/u05027yj563.html]
PPT: [https://stats385.github.io/assets/lectures/bolcskei-stats385-slides.pdf]

Lecture05: When Can Deep Networks Avoid the Curse of Dimensionality and Other Theoretical Puzzles (Tomaso Poggio)

什么时候深度网络可以避免维度灾难以及其他理论困扰
网址链接: [https://v.qq.com/x/page/h05028esp6o.html]
PPT: [https://stats385.github.io/assets/lectures/StanfordStats385-20171025-Lecture05-Poggio.pdf]

Lecture06: Views of Deep Networks from Reproducing Kernel Hilbert Spaces (Zaid Harchaoui)

从再生希尔伯特空间看深度网络
网址链接: [https://v.qq.com/x/page/h05028esp6o.html]
PPT: [https://stats385.github.io/assets/lectures/lecture6_stats385_stanford_nov17.pdf]

参考文献 http://ai.techweb.com.cn/2017-10-31/2599797.shtml

欢迎转发到你的微信群和朋友圈，分享专业AI知识！

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），